Investigación Reproducible con R

Workshop Ciencia Abierta

Eloy Alvarado Narváez

eloy.alvarado@usm.cl

Universidad Técnica Federico Santa María

Francisco Plaza-Vega

francisco.plaza.v@usach.cl

Universidad de Santiago de Chile

3 de enero de 2024

Módulo 1: Introducción a la Investigación Reproducible

¿Qué es la Investigación Reproducible?

Investigación Reproducible

Es la práctica de conducir estudios científicos o basados en datos de tal manera que permita a otros replicar o reproducir los resultados usando los mismos datos, códigos y metodologías.

¿Qué se entiende por un estudio Reproducible y Replicable?

Reproducible

Los autores entregan todos los datos necesarios y los códigos computacionales para realizar el análisis nuevamente, recreando los resultados.

Replicable

Un estudio que llega a los mismos hallazgos científicos que otro estudio, recolectando nuevos datos (posiblemente con diferentes métodos) y completando nuevos análisis.

Clases de Reproducibilidad

Reproducibilidad Computacional: Cuando se proporciona información detallada sobre el código, software, hardware y detalles de la implementación
Reproducibilidad Empírica: Cuando se proporciona información detallada sobre experimentos y observaciones científicas empíricas no computacionales. En la práctica, esto se ocurre al hacer que los datos y los detalles de cómo se recopilaron estén disponibles de forma gratuita.
Reproducibilidad Estadística: Cuando se proporciona información detallada, por ejemplo, sobre la elección de pruebas estadísticas, parámetros del modelo y valores de umbral. Esto se relaciona principalmente con el registro previo del diseño del estudio para evitar la práctica de p-value hacking y otras manipulaciones.

Reproducibilidad

Reproducible: Un resultado es reproducible cuando los mismos pasos de análisis realizados en el mismo conjunto de datos producen consistentemente la misma respuesta.
Replicable: Un resultado es replicable cuando el mismo análisis realizado en diferentes conjuntos de datos produce respuestas cualitativamente similares.
Robusto: un resultado es rebusto cuando el mismo conjunto de datos se somete a diferentes flujos de trabajo de análisis para responder a la misma pregunta de investigación (por ejemplo, una flujo de trabajo escrito en R y otro escrita en Python) y se produce una respuesta cualitativamente similar o idéntica. Los resultados robustos muestran que el trabajo no depende de las especificidades del lenguaje de programación elegido para realizar el análisis.
Generalizable: la combinación de hallazgos replicables y robustos nos permite formar resultados generalizables. Hay que tener en cuenta que ejecutar un análisis en una implementación de software diferente y con un conjunto de datos diferente no proporciona resultados generalizados. Habrá muchos más pasos para saber qué tan bien se aplica el trabajo a todos los diferentes aspectos de la pregunta de investigación. La generalización es un paso importante para comprender que el resultado no depende de un conjunto de datos en particular ni de una versión particular del código de análisis.

Reproducibilidad

Ventajas y dificultades

Ventajas	Dificultades
Historial completo del proyecto	Incentivos limitados
Colaboración y Revisión	Sesgo de las investigaciones hacia hallazgos novedosos
Evita la desinformación	Mayores estándares
Escritura eficiente	Se aplican mayores estándares a las investigaciones reproducibles
Reconocimiento justo	No es considerado para las promociones
Asegura la continuidad del trabajo	Variabilidad en el rendimiento de los software utilizados
	Que una investigación sea reproducible no significa que esté correcta
	Toma más tiempo

Etapas de una Investigación Reproducible

Ciencia Abierta

“1.500 scientist lift the lid on reproducibility”

Difusión y citas

Datos Abiertos

Solo una proporción muy pequeña de los datos originales se publica en revistas convencionales o investigaciones públicas. A pesar de las políticas existentes sobre el archivo de datos, en la actualidad, los datos se almacenan principalmente en archivos privados, no en repositorios institucionales seguros, y se pierde a ellos por parte del público general.

Esta falta de intercambio de datos es un obstáculo para la investigación internacional (ya sea académica, gubernamental o comercial) por dos razones principales:

Generalmente es difícil o imposible reproducir un estudio sin los datos originales.
Los datos no pueden ser reutilizados o incorporados en nuevos trabajos por otros investigadores si no pueden acceder a ellos.

Barreras para el intercambio de datos

Software de Código abierto

Cuando un proyecto es de código abierto, cualquiera puede ver, usar, modificar y distribuir el proyecto para cualquier propósito. Estos permisos se aplican a través de una licencia de código abierto

¿Cómo los software de código abierto benefician la investigación?

Re-usable
Comprobable
Colaborativo

Espectro de Reproducibilidad

Sofware necesarios

R project

https://cran.dcc.uchile.cl/

RSudio IDE

https://posit.co/download/rstudio-desktop/

Existen otras alternativas más génericas como Visual Studio Code, un editor de código para múltiples lenguajes. Sin embargo, al no ser un software especializado en R, requiere utilizar extensiones para lograr las funcionalidad que otorga RStudio.

Quarto

https://quarto.org/docs/get-started/

Git & Github

Módulo 2: Control de versiones

Conectar RStudio y Github

Crear una cuenta en GitHub
Crear un token de acceso personal (PAT) en GitHub

library(usethis)
create_github_token()

Almacenar credenciales

library(gitcreds)
gitcreds::gitcreds_set()

RStudio

Tener un proyecto local
Realizar un commit inicial
Escribir:

library(usethis)
usethis::use_github()

Esto creará un repositorio con el nombre del proyecto

Utilizando la interface en RStudio, podremos mantener el control de versiones.

Control de versiones para datos

Importancia del control de versiones para datos

Los datos utilizados en los análisis no son estáticos
Los datos pueden mutar no sólo debido a que se ingresa nueva información
En muchas investigaciones se desea experimentar con diferentes versiones del mismo conjunto de datos
Controlar las versiones de conjuntos de datos o de archivos grandes ayuda a la reproducibilidad de un proyecto

Desafíos en el control de versiones para datos

La principal limitación que tiene Git es que conforme la cantidad y tamaño de los archivos en el proyecto crecen, se vuelve impracticable el control de versiones.

Usualmente un repositorio se considera grande cuando su tamaño es sobre 1 TB

Herramientas en el control de versiones para datos

Entre las herramientas más usadas para el control de versiones para grandes archivos están:

Data Version Control: Particularmente útil cuando se trabaja con muchos modelos, pues puede registrar el desempeño de modelos pre-establecidos commit tras commit.

Git Large File Storage: Tal como Git, pero desarrollado para ser escalable.

Administración de datos de investigación

El estándar para investigaciones reproducibles es que los datos cumplan con los principios FAIR

FAIR

“The FAIR Guiding Principles for scientific data management and stewardship”

Ambientes reproducibles

Cada computador es un ambiente computacional único que consiste de un sistema operativo, los softwares instalados, sus respectivas versiones entre otras características.

Supongamos que un proyecto de investigación se lleva a cabo en un computador pero luego se transfiere a un computador diferente. No habrá una garantía que el análisis podrá ser realizado o que generará los mismos resultados si estos dependen de algunas de las características mencionadas.

Para que una investigación sea reproducible, el ambiente computacional en el que se conduce debe poder ser replicado.

¿Qué es un ambiente computacional?

En términos generales, un ambiente computacional es un sistema donde un programa se ejecuta. Esto incluye las características de hardware y software

Replicar los ambientes computacionales tendrá un potencial impacto en:

Investigadores
Colaboradores

Capturando el ambiente computacional

Categorías:

Sistema de admininistración de paquetes

Los sistemas de administración de paquetes son herramientas usadas para instalar y mantener un seguimiento del software usado en un sistema. Los archivos utilizados pueden ser compartidos con otros para que repliquen el ambiente computacional.

Ejemplos:

Binder

Binder es un servicio que genera versiones funcionales de proyecto desde un repositorio git y los sube a la nube. Estos proyectos “binderizados” son accesibles desde un navegador de internet.

Binder requiere que el software (y óptimamente, sus versiones) necesario para ejecutar un proyecto sea especificado.

Máquinas virtuales

Las máquinas virtuales son computadores simulados. Un usuario puede crear un computador “virtual” fácilmente, especificando el sistema operativo que quieren tener, entre otras características, y ejecutarlo como cualquier otra aplicación.

Contenedores

Los contenedores proveen muchos de los beneficios de una máquina virtual, pues esencialmente actúan como máquinas independientes que contienen sus propios archivos, softwares y configuraciones.

La diferencia radica en que una máquina virtual incluye un sistema operativo junto con sus softwares, independientemente si el proyecto los utiliza. En cambio, los contenedores sólo incluyen el software y archivos explícitamente definidos para ejecutar un proyecto particular.

Ejemplos: Renv

Creamos un nuevo proyecto
Seleccionamos la opción de utilizar renv en el nuevo proyecto
Alternativamente podemos utilizar el comando renv::init() para proyectos existentes
Trabajamos en el código, instalando o sacando paquetes conforme sea necesario
Usamos el comando renv::snapshot() para capturar el ambiente

El comando renv::init() tendremos opciones para restaurar, descartar o activar el ambiente computacional
El comando renv::dependencies() nos entrega los paquetes de los cuales depende nuestro proyecto.

Ejemplos: Conda

Instalar Anaconda
Seleccionar pestaña Environment
Crear ambiente de proyecto (R, Python o ambos)
Utilizar RStudio desde anaconda.

Ejemplos: BinderHub

Pasos para crear un ambiente en BinderHub

Entrar a Binder
Crear un repositorio usando el siguiente template: binder-r
Subir archivos al repositorio.
Modificar archivo install.R con los paquetes necesarios
Modificar runtime.txt con la versión de R necesaria

Para ver la versión de R con la que se está trabajando: version en la consola de

Modificar README.md con la dirección del repositorio, por ejemplo:

http://mybinder.org/v2/gh/binder-examples/r/master?urlpath=rstudio

cambia a

http://mybinder.org/v2/gh/ealvnrz/binder-r-test/master?urlpath=rstudio

YAML

YAML es un formato de serialización de datos que puede ser leído fácilmente. Su uso es amplio, desde Acciones en GitHub hasta Quarto

Un ejemplo de YAML que difine un ambiente computacional podría ser:

# Define the operating system as Linux
os: linux

# Use the xenial distribution of Linux
dist: xenial

# Use the programming language Python
language: python

# Use version of Python 3.2
python: 3.2

YAML nos será de particular interés para la creación de documentos y presentaciones reproducibles, utilizando quarto.

Caso práctico

Generaremos un proyecto desde cero que tenga las siguientes características:

Repositorio en Github
Código de R + Administrador de paquetes